SemComp-Bench: Benchmarking Semantic Task Completion in Video Generation
SemComp-Bench：语义任务完成视频生成基准
🧭 视频生成评估 · 语义任务完成
University of Science and Technology of China · FrameX.AI · Sun Yat-sen University
提出 SemComp-Bench 基准，用 VLM 评估视频生成在结果达成与语义 grounding 上的表现
📌 工作参考价值（4 点）
- 评估思路可迁移：在商品短视频/广告创意生成中，聚焦最终结果是否达成与任务相关语义是否保持，不必苛求逐帧一致，降低审核成本。
- 采用 VLM 回答结构化二值问题输出 OA/GR 两个分数，可在生成式推荐中分离“目标达成”和“语义相关性”做自动化质量评测，定位失败环节。
- 四阶段数据 curation pipeline 可参考：从原始视频自动提取参考图、指令和结果片段，规模化构建业务生成评估集，加速模型迭代。
- Semantic grounding 定义允许无关属性变化，可迁移到电商商品属性控制：只绑定关键属性（材质、形状、功能），其他外观可多样化，适配创意生成。